Fully Connected Layer |
| In a fully connected layer, each of the outputs in the previous layer is connected with a weight to each neuron in the layer. The number of weights in this type of layer rapidly increases when the number of inputs or the number of neurons in the layer increases. As you remember, training becomes more difficult when the number of weights increases. Therefore, the fully connected layer is only used when the number of inputs is small. Inside each neuron in a fully connected layer, there is an activation function such as the logistic function, the hyperbolic tangent or other activation function. En una capa completamente conectada, cada una de las salidas en la capa previa está conectada con un peso a cada una de las neuronas en la capa. El número de pesos en este tipo de capa incrementada rápidamente cuando el número de entrada o el número de neuronas en la capa incrementa. Cómo usted recuerda, el entrenamiento se hace más difícil cuando el número de pesos aumenta. Por lo tanto, la capa completamente conectada es usada solamente cuando el número de entradas es pequeño. Dentro de cada neurona en la capa completamente conectada, hay una función de activación tales cómo la función logística, la tangente hiperbólica u otra función de activación. |
| Problem 1 |
| Indicate if the statement is true or false: In a convolutional neural network, the position of the values inside the tensor is important. For instance, in an image the position and value of a pixel are important. However, once the data travels through a fully connected layer, position information is lost. Indique si la sentencia es verdadera o falsa: En una red convolucional neuronal, la posición de los valores dentro del tensor es importante. Por ejemplo, en una imagen la posición y el valor de un pixel son importantes. Sin embargo, una vez que los datos han viajado a través de una capa completamente conectada, la información de posición se pierde. |
| Problem 2 |
The fully connected layer in the figure has ten neurons, compute
La capa completamente conectada en la figura tiene diez neuronas, calcule
|
| Problem 3 |
| Do you recommend to use a fully connected layer for the first layer of a convolutional network? Explain your answer. Recomienda usted usar una capa completamente conectada en la primera capa de una red convolucional? Explique su respuesta. |
| Problem 4 |
| A convolution neural network is mostly used for classification. Do you recommend to use a fully connected layer in the output layer of a convolutional network? Explain your answer. Una red neuronal convolucional se utiliza mayormente para clasificación. Recomienda usted usar una capa completamente conectada en la capa de salida una red convolucional? Explique su respuesta. |
| Problem 5 |
| A convolution neural network is being used for classification, what activation function do you recommend to use in a fully connected layer that is in the output layer of a convolutional network? Explain your answer. Una red neuronal convolucional está siendo usada para clasificación, cuál función de activación recomienda usted usar una capa completamente conectada en la capa de salida que está en la salida de una red convolucional? Explique su respuesta. |
